Learning goal-directed behavior in environments with sparse feedback is a major challenge for reinforcement learning algorithms. The primary difficulty arises due to insufficient exploration, resulting in an agent being unable to learn robust value functions. Intrinsically motivated agents can explore new behavior for its own sake rather than to directly solve problems. Such intrinsic behaviors could eventually help the agent solve tasks posed by the environment. We present hierarchical-DQN (h-DQN), a framework to integrate hierarchical value functions, operating at different temporal scales, with intrinsically motivated deep reinforcement learning. A top-level value function learns a policy over intrinsic goals, and a lower-level function learns a policy over atomic actions to satisfy the given goals. h-DQN allows for flexible goal specifications, such as functions over entities and relations. This provides an efficient space for exploration in complicated environments. We demonstrate the strength of our approach on two problems with very sparse, delayed feedback: (1) a complex discrete stochastic decision process, and (2) the classic ATARI game 'Montezuma's Revenge'.

强化学习（RL）是一种基于代理的方法，可以教机器人在物理世界中导航。已知收集RL的数据是一项费力的任务，现实世界实验可能会冒险。模拟器以更快，更具成本效益的方式促进培训数据的收集。但是，RL经常需要大量的仿真步骤才能使代理在简单任务上变得熟练。这是基于RL的视觉四面导航字段中普遍的问题，其中状态尺寸通常非常大，动态模型很复杂。此外，渲染图像和获得代理的物理特性在计算上可能很昂贵。为了解决这个问题，我们提出了一个基于Airsim的模拟框架，该框架提供了有效的并行训练。在此框架的基础上，APE-X经过修改，以结合空调环境的分散培训，以利用众多网络计算机。通过实验，我们能够使用上述框架将训练时间从3.9小时减少到11分钟，总共有74个代理和两台网络计算机。可以在https://sites.google.com/view/prl4airsim/home上找到有关我们项目Prl4airsim的更多详细信息和有关我们项目的视频。

旅行销售人员问题（TSP）是一个经典的资源分配问题，用于找到完成一组任务的最佳顺序，同时最大程度地减少（或最大化）相关的目标函数。它被广泛用于机器人技术，用于诸如计划和计划之类的应用程序。在这项工作中，我们使用增强学习（RL）解决了TSP的两个目标。通常，在多目标优化问题中，相关的目标函数本质上可能是冲突的。在这种情况下，最优性是根据帕累托最优性定义的。目标空间中的这些帕累托最佳解决方案组成帕累托前部（或边境）。每个解决方案都有其权衡。我们介绍了Pareto Frontier近似网络（PA-NET），该网络为Bi-Objective旅行销售员问题（BTSP）生成了良好的Pareto前部近似值。首先，将BTSP转换为受约束的优化问题。然后，我们使用拉格朗日放松和政策梯度来训练我们的网络来解决这一受约束的问题。使用PA-NET，我们改善了现有基于RL的方法的性能。用于测量帕累托阵线最佳性的超量度量的平均改进为2.3％。同时，PA-NET的推理时间更快。最后，我们介绍了PA-NET的应用，以在机器人导航任务/覆盖范围计划中找到最佳的访问顺序。我们的代码可在项目网站上找到。

基于方面的情感分析非常重要和应用，因为它能够识别文本中讨论的所有方面。但是，基于方面的情感分析将是最有效的，除了确定文本中讨论的所有方面外，它还可以识别其极性。大多数以前的方法都使用管道方法，即，它们首先识别各个方面，然后识别极性。此类方法不适合实际应用，因为它们可以导致模型错误。因此，在这项研究中，我们提出了一个基于卷积神经网络（CNN）的多任务学习模型，该模型可以同时检测方面类别并检测方面类别的极性。单独创建模型可能不会提供最佳的预测，并导致诸如偏见和高方差之类的错误。为了减少这些错误并提高模型预测的效率，将几种称为合奏学习的模型组合在一起可以提供更好的结果。因此，本文的主要目的是创建一个基于多任务深度卷积神经网络合奏的模型，以增强波斯评论中的情感分析。我们使用电影域中的波斯语数据集评估了提出的方法。 jacquard索引和锤损失措施用于评估开发模型的性能。结果表明，这种新方法提高了波斯语中情感分析模型的效率。

图表神经网络（GNNS）最近已经证明了在各种基于网络的任务中表现出良好的基于​​网络的任务，例如分散控制和资源分配，并为这些任务提供传统上在这方面挑战的计算有效方法。然而，与许多基于神经网络的系统一样，GNN易于在其输入上移动和扰动，其可以包括节点属性和图形结构。为了使它们更有用的真实应用程序，重要的是确保其稳健性后部署。通过控制GNN滤波器的LIPSChitz常数相对于节点属性来激励，我们建议约束GNN过滤器组的频率响应。我们使用连续频率响应约束将该配方扩展到动态图形设置，并通过方案方法解决问题的轻松变体。这允许在采样约束上使用相同的计算上有效的算法，这为PAC-Sique提供了在GNN的稳定性上使用方案优化的结果提供了PAC样式的保证。我们还突出了该设置和GNN稳定性与图形扰动之间的重要联系，并提供了实验结果，证明了我们方法的功效和宽广。

基于视觉的控制在研究中发现了一个关键位置，以在物理传感限制下控制连续式机器人时解决状态反馈的要求。传统的视觉伺服需要特征提取和跟踪，而成像设备捕获图像，这限制了控制器的效率。我们假设采用深度学习模型和实现直接视觉伺服可以通过消除跟踪要求和控制连续内机器人而无需精确的系统模型来有效地解决问题。在本文中，我们控制了一种利用改进的VGG-16深度学习网络和掌握直接视觉伺服方法的单段肌腱驱动的连续内机器人。所提出的算法首先在搅拌机中使用目标的一个输入图像在搅拌机中开发，然后在真正的机器人上实现。由归一化目标和捕获图像之间的绝对差异和反映的正常，阴影和遮挡场景的收敛性和准确性证明了所提出的控制器的有效性和鲁棒性。

在过去的十年中，自动驾驶航空运输车辆引起了重大兴趣。这是通过空中操纵器和新颖的握手的技术进步来实现这一目标的。此外，改进的控制方案和车辆动力学能够更好地对有效载荷进行建模和改进的感知算法，以检测无人机（UAV）环境中的关键特征。在这项调查中，对自动空中递送车辆的技术进步和开放研究问题进行了系统的审查。首先，详细讨论了各种类型的操纵器和握手，以及动态建模和控制方法。然后，讨论了降落在静态和动态平台上的。随后，诸如天气状况，州估计和避免碰撞之类的风险以确保安全过境。最后，调查了交付的UAV路由，该路由将主题分为两个领域：无人机操作和无人机合作操作。

State-of-the-art deep neural networks (DNNs) have hundreds of millions of connections and are both computationally and memory intensive, making them difficult to deploy on embedded systems with limited hardware resources and power budgets. While custom hardware helps the computation, fetching weights from DRAM is two orders of magnitude more expensive than ALU operations, and dominates the required power.Previously proposed 'Deep Compression' makes it possible to fit large DNNs (AlexNet and VGGNet) fully in on-chip SRAM. This compression is achieved by pruning the redundant connections and having multiple connections share the same weight. We propose an energy efficient inference engine (EIE) that performs inference on this compressed network model and accelerates the resulting sparse matrix-vector multiplication with weight sharing. Going from DRAM to SRAM gives EIE 120× energy saving; Exploiting sparsity saves 10×; Weight sharing gives 8×; Skipping zero activations from ReLU saves another 3×. Evaluated on nine DNN benchmarks, EIE is 189× and 13× faster when compared to CPU and GPU implementations of the same DNN without compression. EIE has a processing power of 102 GOPS/s working directly on a compressed network, corresponding to 3 TOPS/s on an uncompressed network, and processes FC layers of AlexNet at 1.88×10 4 frames/sec with a power dissipation of only 600mW. It is 24,000× and 3,400× more energy efficient than a CPU and GPU respectively. Compared with DaDianNao, EIE has 2.9×, 19× and 3× better throughput, energy efficiency and area efficiency.